CDN-провайдер Akamai Technologies объявил о заключении соглашения о стратегическом партнёрстве с компанией Neural Magic, разработчиком специализированного ПО для ускорения рабочих нагрузок, связанных с ИИ. Сотрудничество призвано расширить возможности глубокого обучения на базе распределённой вычислительной инфраструктуры Akamai.

Компания Akamai реализует комплексную стратегию по трансформации в распределённого облачного провайдера. В частности, в начале 2023 года Akamai запустила платформу Connected Cloud на базе Linode: это более распределённая альтернатива сервисам AWS или Azure. А в феврале 2024 года была представлена система Gecko (Generalized Edge Compute), которая позволяет использовать облачные вычисления на периферии.

Источник изображения: pixabay.com

В рамках сотрудничества с Neural Magic провайдер предоставит клиентам высокопроизводительную инференс-платформу. Утверждается, что софт Neural Magic даёт возможность запускать ИИ-модели на обычных серверах на базе CPU без дорогостоящих ускорителей на основе GPU. ПО позволяет ускорить выполнение ИИ-задач с помощью технологий автоматического разрежения моделей (model sparsification).

Софт Neural Magic дополнит возможности Akamai по масштабированию, обеспечению безопасности и доставке приложений на периферии. Это позволит компаниям развёртывать ИИ-сервисы в инфраструктуре Akamai c более низкими задержками и повышенной производительностью без необходимости аренды GPU-ресурсов. Платформа Akamai и Neural Magic особенно хорошо подходит для ИИ-приложений, в которых большие объёмы входных данных генерируются близко к периферии.

Хотя сенсоры многочисленных орбитальных спутников собирают немало информации, у космических аппаратов не хватает вычислительных способностей, чтобы обрабатывать данные на месте. TechCrunch сообщает, что стартап Aethero намерен стать «Intel или NVIDIA в космической индустрии» — компания разрабатывает защищённые от радиации компьютеры для периферийных вычислений на спутниках.

Несколько лет назад основатели Aethero создали стартап Stratodyne, занимавшийся строительством стратостатов для дистанционного зондирования (ДЗЗ). Позже компания закрылась, а создатели вернулись к изучению встраиваемых систем для агрессивных сред.

Как заявляет Aethero, современные компьютеры для космоса используют устаревшие FPGA и не способны выполнять сложные вычисления вроде тренировки на орбите ИИ-моделей или обслуживания систем компьютерного зрения. Aethero, привлёкшая $1,7 млн, намерена только в этому году трижды отправить свои разработки в космос. Одна из миссий будет выполнена SpaceX уже в июне. Целью является демонстрация работоспособности прототипов вроде возможности обновления набортных моделей компьютерного зрения или тренировки таких моделей непосредственно в космосе на собранных здесь же данных.

Источник изображений: Aethero

Космический компьютер первого поколения ECM-NxN использует чип NVIDIA Jetson Orin Nano. В компании утверждают, что сегодня это лучший периферийный ИИ-ускоритель на рынке, а надёжное оборудование собственной разработки позволит сохранить его работоспособность на низкой околоземной орбите в течение 7–10 лет. При этом платформа уместится даже в небольшом аппарате вроде кубсата и обеспечивает производительность в 20 раз выше в сравнении с уже существующими решениями.

Впоследствии Aethero намерена выпустить более крупный модуль ECM-NxA на базе NVIDIA AGX, а потом перейти к разработке собственного RISC-V чипа для модуля ECM-0x1. Утверждается, что тот будет потреблять меньше энергии и будет производительнее, чем продукты техногигантов. Выпуск планируется совместно с Intel приблизительно в 2026 году, хотя обстоятельства могут измениться.

В Aethero отмечает, что подобные решения могут быть интересны операторам ДЗЗ, орбитальным сервисам и будущим частным космическим станциям. Например, только МКС генерирует терабайты данных ежедневно, напоминает компания. Правда, на МКС работает уже второе поколение космического суперкомпьютера HPE Spaceborne-2, разработчики которого отмечали проблемы с SSD и кешами процессоров из-за радиации. На МКС была протестирована и edge-платформа AWS Snowcone. Более того, ИИ-софт AWS для анализа снимков уже успел поработать на низкоорбитальном спутнике.

Стартап Lumen Orbit анонсировал раунд инвестиций, в ходе которого планируется привлечь $2,4 млн на строительство космических дата-центров. По данным Datacenter Dynamics, компания надеется развернуть сотни низкоорбитальных спутников с ускорителями на базе GPU, способных выполнять роль распределённого ЦОД для других космических аппаратов — во многих случаях отпадёт необходимость отправки данных на Землю.

По словам главы компании Филипа Джонстона (Philip Johnston), миссия Lumen заключается в запуске группировки орбитальных дата-центров для периферийных вычислений в космосе. Прочие спутники будут отправлять такому космическому ЦОД «сырые» данные на ИИ-обработку, после которой уже готовые результаты будут переправляться на Землю. Это позволит сэкономить пропускную способность космических каналов связи и избежать дорогостоящей переправки массивов данных туда-обратно, да ещё и с высокой задержкой.

Компания рассчитывает разместить 300 спутников на высоте около 315 км. Тестовый 60-кг экземпляр намерены отправить уже в мае 2025 года с помощью ракеты SpaceX Falcon 9. Стартап сотрудничает с Ansys и Solidworks, уже подписано несколько меморандумов о взаимопонимании на сумму более $30 млн и даже есть первый потенциальный клиент, который готов опробовать систему в тестовом режиме. Через полгода после теста планируется запустить восемь спутников, а ещё через полгода должны появиться пять орбитальных «колец».

Источник изображения: NASA

Lumen стала последней в ряду компаний, желающих разместить вычислительные мощности на орбите. Axiom Space планирует запустить ЦОД на своей космической станции в 2026 году, а NTT и SKY Perfect JSAT уже в 2025 году надеются развернуть спутники для хранения и обработки данных. Крупную вычислительную систему-буксир Blue Ring намерена запустить Blue Origin, но в этом случае речь идёт уже о геосинхронном, а не низкоорбитальном проекте. Концепцию внеземных ЦОД изучают и в Евросоюзе, а ESA сотрудничает с Intel и Ubotica в работе над ИИ-кубсатом PhiSat-1.

Американская Lonestar Data Holdings провела финальную фазу тестов ЦОД-технологий будущего с помощью лунного посадочного модуля Odysseus («Одиссей»), относительно успешно добравшегося до Луны. Datacenter Dynamics напоминает, что эксперимент провели в рамках миссии IM-1 компании Intuitive Machines.

Lonestar передала тексты Декларации независимости и Конституции США с Земли на Луну, а также текст Билля о правах и некоторые данные для штата Флорида. Декларацию отправляли на Odysseus неоднократно — сначала во время полёта к Луне, потом при выходе на окололунную орбиту. Эти тесты были ориентированы на проверку надёжности передачи и хранения данных.

Следующая миссия, тоже при участии Intuitive Machines, предусматривает размещение на Луне небольшого ЦОД. Речь идёт о проекте IM-2, который получит специальный SSD-модуль ёмкостью 8 Тбайт и единственную ПЛИС Microchip PolaFire SoC. Этот комплекс станет первым лунным дата-центром Lonestar, хотя и очень простым. Компания намерена проверить, как подобная СХД поведёт себя в экстремальных условиях на поверхности спутника Земли.

Изображение: Intuitive Machines

Впрочем, до реализации IM-2 ещё далеко, особенно с учётом технических проблем, которые привели к не вполне удачному выполнению миссии IM-1, на участие в которой Lonestar привлекла немалые средства. Хотя на первом этапе при посадке проблемы удалось частично решить, позже выяснилось, что посадочный модуль опрокинулся, но смог передать некоторые данные, в том числе связанные с миссией Lonestar. В компании сообщили о «непревзойдённом коммерческом успехе» и даже открытии новой эпохи лунных проектов.

Компания Lenovo на выставке MWC 2024 анонсировала новые серверы, предназначенные для решения ИИ-задач и организации периферийных вычислений. Демонстрируются модели ThinkEdge SE455 V3, ThinkEdge SE350 V2 и ThinkEdge SE360 V2.

Первая из перечисленных новинок построена на платформе AMD EPYC 8004 Siena с возможностью установки одного процессора с показателем TDP до 225 Вт. Устройство выполнено в формате 2U с глубиной 438 мм. Есть шесть слотов для модулей DDR5-4800, по четыре внешних и внутренних отсека для накопителей SFF (SATA или NVMe). Доступны до шести слотов PCIe — 2 × PCIe 5.0 x16 и 4 × PCIe 4.0 x8. Предусмотрены также два коннектора для SSD типоразмера M.2.

Серверы ThinkEdge SE350 V2 и ThinkEdge SE360 V2 выполнены в формате 1U и 2U соответственно. Они рассчитаны на установку одного процессора Intel Xeon D-2700 с TDP до 100 Вт. Первая из этих моделей позволяет задействовать до четырёх SFF-накопителей NVMe/SATA толщиной 7 мм и два SFF-устройства NVMe толщиной 15 мм. Слоты расширения PCIe не предусмотрены. Второй сервер может быть оборудован двум SFF-накопителями NVMe/SATA толщиной 7 мм и восемью устройствами M.2 2280/22110 (NVMe). Имеются два слота PCIe 4.0 x16.

Представлены также компьютеры небольшого форм-фактора ThinkEdge SE10 и ThinkEdge SE30 для промышленной автоматизации, IoT-приложений и пр. Эти устройства оснащаются процессорами Intel — вплоть до Atom x6425RE и Core i5-1145GRE соответственно. Первый из этих компьютеров может быть оснащён одним накопителем M.2 PCIe SSD вместимостью до 1 Тбайт, второй — двумя. Ребристая поверхность корпуса выполняет функции радиатора для отвода тепла.

Компании Iceotope, HPE и Intel продемонстрировали на MWC 2024 ряд новинок для телекоммуникационной отрасли и edge-приложений. В частности, представлен сервер KUL RAN второго поколения с эффективной системой жидкостного охлаждения.

Edge-сервер KUL RAN первого поколения дебютировал в июне 2023 года. Он предназначен для развёртывания vRAN-платформ, сетей 5G и других сервисов связи. Применена полностью автономная СЖО Iceotope Precision Liquid Cooling. Новая модель KUL RAN выполнена в форм-факторе 2U. В основу положен сервер HPE ProLiant DL110 Gen11 на базе Intel Xeon Sapphire Rapids. Iceotope заявляет, что устройство может эксплуатироваться в «самых суровых условиях». Оно имеет защиту от тепловых ударов, пыли и влаги.

Диапазон рабочих температур простирается от -40 до +55 °C. Утверждается, что решение обеспечивает сокращение энергопотребления до 20 % по сравнению со стандартными телеком-серверами, тогда как частота отказов компонентов ниже на 30 %. Устройство KUL RAN второго поколения ориентировано на сети радиодоступа с низкими задержками и edge-задачи.

Iceotope также заявляет, что её технология Precision Liquid Cooling даёт возможность охлаждать процессоры с показателем TDP 1000 Вт и даже выше. Таким образом, система подходит для применения в мощных ИИ-серверах с высокой нагрузкой.

НРЕ показала на MWC 2024 и другие системы для телекоммуникационной отрасли и инфраструктур связи 5G. Это, в частности, сервер ProLiant RL300 Gen11 со 128-ядерным Arm-чипом Ampere. Устройство типоразмера 1U оборудовано десятью фронтальными отсеками для SFF NVMe SSD с интерфейсом PCIe 4.0, тремя слотами расширения PCIe 4.0 и двумя слотами OCP 3.0.

Компания Supermicro представила на выставке мобильной индустрии MWC 2024 в Барселоне (Испания) новые серверы для телекоммуникационной отрасли, 5G-инфраструктур, задач ИИ и периферийных вычислений. Дебютировали модели с процессорами AMD EPYC 8004 Siena, Intel Xeon Emerald Rapids и с суперчипами NVIDIA GH200 Grace Hopper.

В частности, анонсирована стоечная система ARS-111GL-NHR высокой плотности в форм-факторе 1U на базе GH200. Устройство наделено двумя слотами PCIe 5.0 x16, восемью фронтальными отсеками для накопителей E1.S NVMe и двумя коннекторами для модулей M.2 NVMe. Сервер предназначен для работы с генеративным ИИ и большими языковыми моделями (LLM).

На периферийные 5G-платформы ориентировано решение SYS-211E ультрамалой глубины — 298,8 мм. Модель рассчитана на один процессор Xeon Emerald Rapids в исполнении LGA-4677. Есть восемь слотов для модулей DDR5-5600 общей ёмкостью до 2 Тбайт и до шести слотов PCIe 5.0 в различных конфигурациях для карт расширения. Модификация SYS-211E-FRDN13P для сетей Open RAN предлагает 12 портов 25GbE и поддерживает технологию Intel vRAN Boost.

Ещё одна новинка — сервер AS-1115S-FWTRT формата 1U с возможностью установки одного процессора EPYC 8004 Siena (до 64 ядер). Реализована поддержка до 576 Гбайт памяти DDR5-4800 (шесть слотов), двух портов 10GbE, двух слотов PCIe 5.0 x16 FHFL и одного слота PCIe 5.0 x16. Решение предназначено для edge-приложений.

Представлены также многоузловая платформа SYS-211SE-31D/A и система высокой плотности SYS-221HE: обе модели выполнены в формате 2U на процессорах Xeon Emerald Rapids. Второй из этих серверов допускает монтаж до трёх двухслотовых ускорителей NVIDIA H100, A10, L40S, A40 или A2. Наконец, анонсирован сервер AS-1115SV типоразмера 1U с поддержкой процессоров EPYC 8004 Siena, 576 Гбайт памяти DDR5, трёх слотов PCIe 5.0 x16 и 10 накопителей SFF.

Компания BrainChip, по сообщению ресурса CNX-Software, начала приём заказов на компьютер небольшого форм-фактора Akida Edge AI Box, разработанный в партнёрстве с VVDN Technologies. Новинка предназначена для выполнения ИИ-задач на периферии.

В основу положен процессор NXP i.MX 8M Plus Quad с четырьмя ядрами Arm Cortex-A53, функционирующими на тактовой частоте до 1,8 ГГц. В состав чипа входят графические блоки Vivante GC7000UL 3D GPU и Vivante GC520L 2D GPU, а также модуль NPU с производительностью до 2,3 TOPS.

В оснащение мини-ПК включены два нейроморфных чипа BrainChip Akida AKD1000 (интерфейс PCIe) с ядром реального времени Arm Cortex-M4 с тактовой частотой 300 МГц. Они предназначены для ускорения операций, связанных с ИИ и машинным обучением. Объём оперативной памяти LPDDR4 составляет 4 Гбайт. Есть флеш-модуль eMMC вместимостью 32 Гбайт, слот для карты microSD, адаптер Wi-Fi 5 (802.11n/ac; 2,4 и 5 ГГц) и двухпортовый сетевой контроллер 1GbE.

Источник изображения: BrainChip

Возможно кодирование и декодирование видеоматериалов в формате 1080p60 (H.265 и H.264). Предусмотрены разъёмы USB 3.0 Type-A и USB 2.0 Micro-B. Габариты составляют 110 × 110 × 56 мм. Диапазон рабочих температур — от 0 до +50 °C. Применяется программная платформа на базе ядра Linux 6.1. Компьютер предлагается по ориентировочной цене $800.

Компания Supermicro анонсировала новые серверы, предназначенные для развёртывания ИИ-приложений на периферии. Дебютировали системы с процессорами Intel Xeon Emerald Rapids, поддерживающие установку различных ускорителей NVIDIA, включая H100.

Одной из новинок стал сервер SYS-621C-TN12R семейства CloudDC, выполненный в форм-факторе 2U. Он рассчитан на установку двух чипов Xeon в исполнении Socket E (LGA-4677) с показателем TDP до 350 Вт. Доступны 16 слотов для модулей DDR5-5600 суммарным объёмом до 4 Тбайт. Для ускорителей типоразмера FHHL доступны два слота PCIe 5.0 x16. Есть 12 отсеков для LFF-накопителей NVMe/SATA/SAS и два коннектора для SSD формата M.2 2280 с интерфейсом PCIe 5.0 x4.

Источник изображений: Supermicro

Представлен и 1U-сервер SYS-111E-FWTR высокой плотности. Допускается использование одного процессора Xeon в исполнении Socket E с величиной TDP до 350 Вт и восьми модулей DDR5-5600 (до 2 Тбайт). Имеются два слота PCIe 5.0 x16 FHFL, один слот PCIe 5.0 x16 LP, один коннектор M.2 22110/2280 (PCIe 3.0 x2; NVMe) и два посадочных места для SFF-накопителей с интерфейсом SATA-3. Данная модель, как отмечается, подходит для широкого спектра сетевых и периферийных приложений.

Схожими характеристиками обладает компактный сервер SYS-E403-13E-FRN2T в форм-факторе блочного ПК: это устройство поддерживает монтаж трёх ускорителей PCIe 5.0 x16 FHFL.

Ещё одна новинка — сервер SYS-211E-FRN2T сверхмалой глубины, составляющей 300 мм. От двух предыдущих моделей он отличается тем, что снабжён двумя коннекторами для SSD типоразмера M.2 2280/22110 (NVMe), а слоты расширения выполнены по схеме 1 × PCIe 5.0 x16 или x8 HHHL, 1 × PCIe 5.0 x8 HHHL и 2 × PCIe 5.0 x16 FHHL.

Универсальная система SYS-211SE-31D, в свою очередь, представляет собой трёхузловой сервер стандарта 2U. Каждый узел допускает установку одного чипа Xeon в исполнении Socket E, восьми модулей DDR5-5600, двух ускорителей PCIe 5.0 x16 FHHL, одной карты PCIe 5.0 x16 HHHL и двух модулей M.2 2280/22110 (NVMe).

Наконец, дебютировал компактный IoT-сервер SYS-E300-13AD с поддержкой одного процессора Intel Core в исполнении LGA-1700 с величиной TDP до 65 Вт. Предусмотрены два слота для модулей памяти DDR4-3200 суммарным объёмом до 64 Гбайт, один разъём PCIe 5.0 x16 для низкопрофильной карты расширения, одно посадочное место для SFF-накопителя SATA, по одному коннектору М.2 E-Key 2230 (PCIe 3.0 x1 / USB2.0) и М.2 M-Key 2280 (PCIe 4.0 x4; NVMe). Все анонсированные серверы оборудованы воздушным охлаждением.

CDN-провайдер Akamai Technologies объявил о запуске платформы Gecko (Generalized Edge Compute), которая позволяет использовать облачные вычисления на периферии. Сервис призван помочь компаниям улучшить качество обслуживания клиентов путём перемещения своих рабочих нагрузок ближе к конечным пользователям.

Проект Gecko является частью стратегии Akamai по её трансформации в распределённого облачного провайдера. По сути, речь идёт о формировании альтернативной облачной инфраструктуры, отвечающей потребностям высокопроизводительных приложений — с небольшими задержками и гибкой масштабируемостью.

Источник изображения: Akamai

Gecko предусматривает интеграцию облачных сервисов в развитую CDN-сеть Akamai. Отмечается, что традиционные современные архитектуры предусматривают разделение облачных и периферийных платформ. В свою очередь, Gecko переносит «тяжёлые» нагрузки, которые обычно обрабатываются в крупных дата-центрах, на периферию. Благодаря этому полнофункциональные вычисления становятся возможными в сотнях ранее недоступных локаций, что позволит клиентам переносить ресурсоёмкие приложения ближе к конечным пользователям.

В начале 2023 года Akamai запустила платформу Connected Cloud на базе Linode. Она представляет собой более распределённую альтернативу сервисам AWS или Azure. Сеть Akamai насчитывает приблизительно 4100 точек присутствия по всему миру. Эта инфраструктура поможет в реализации проекта Gecko.

Источник изображения: Akamai

Платформа Gecko будет развёрнута три этапа. На первом планируется внедрении вычислений с поддержкой виртуальных машин в 100 городах к концу 2024 года. На данный момент компания уже развернула регионы Gecko в таких местах, как Гонконг, Куала-Лумпур (Малайзия), Керетаро (Мексика), Йоханнесбург (Южная Африка), Богота (Колумбия), Денвер (Колорадо), Хьюстон (Техас), Гамбург (Германия) и Марсель (Франция). В конечном итоге Akamai намерена распространить Gecko на сотни городов по всему миру.

Вторая фаза Gecko начнётся позднее в нынешнем году, когда Akamai добавит поддержку контейнеров. На третьем этапе будет реализована поддержка автоматизированной оркестрации рабочих нагрузок, что позволит разработчикам развёртывать распределённые высокопроизводительные приложения.

Среди ключевых рабочих нагрузок для Gecko названы ИИ, многопользовательские игры, а также социальные сети и потоковая передача мультимедийных материалов. Сеть также может использоваться для таких задач, как иммерсивная розничная торговля, пространственные вычисления, потребительский и промышленный Интернет вещей.